<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  
  <title>残差网络之快捷键-ResNet,skip connection | rongshen</title>
  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">
  
  
  
<link rel="stylesheet" href="/css/style.css">

  
    
<link rel="stylesheet" href="/css/highlight.css">

  
  <meta name="description" content="最近由于《高级数字图像处理》课程考核的原因，看了一篇CV的论文。我没有读懂全部的论文内容，关于其中一个很小的一点skip connection，我做个记录。只是简单的介绍下这个我看懂的一小点。">
<meta property="og:type" content="article">
<meta property="og:title" content="残差网络之快捷键-ResNet,skip connection">
<meta property="og:url" content="http://example.com/2020/04/26/%E6%AE%8B%E5%B7%AE%E7%BD%91%E7%BB%9C%E4%B9%8B%E5%BF%AB%E6%8D%B7%E9%94%AE-ResNet%E3%80%81skip-connection/index.html">
<meta property="og:site_name" content="rongshen">
<meta property="og:description" content="最近由于《高级数字图像处理》课程考核的原因，看了一篇CV的论文。我没有读懂全部的论文内容，关于其中一个很小的一点skip connection，我做个记录。只是简单的介绍下这个我看懂的一小点。">
<meta property="og:locale" content="en_US">
<meta property="og:image" content="http://cdn.rongshen2020.com/204261.png">
<meta property="og:image" content="http://cdn.rongshen2020.com/204262.png">
<meta property="og:image" content="http://cdn.rongshen2020.com/204264.png">
<meta property="og:image" content="http://cdn.rongshen2020.com/204263.png">
<meta property="og:image" content="http://cdn.rongshen2020.com/204265.png">
<meta property="og:image" content="http://cdn.rongshen2020.com/204267.png">
<meta property="og:image" content="http://cdn.rongshen2020.com/204266.png">
<meta property="article:published_time" content="2020-04-26T12:35:25.000Z">
<meta property="article:modified_time" content="2020-05-06T02:56:47.941Z">
<meta property="article:author" content="John Doe">
<meta property="article:tag" content="ResNet">
<meta name="twitter:card" content="summary">
<meta name="twitter:image" content="http://cdn.rongshen2020.com/204261.png"><meta name="generator" content="Hexo 6.1.0"></head>

<body>
  <div id="wrapper">
    <header id="header">
  <h1 id="title">
    <a href="/">rongshen</a>
  </h1>
  <nav>
    
    
      
      <a class="nav-link" href="/">Home</a>
    
      
        <span class="nav-spacer">×</span>
      
      <a class="nav-link" href="/archives">Archives</a>
    
      
        <span class="nav-spacer">×</span>
      
      <a class="nav-link" target="_blank" rel="noopener" href="https://github.com/Aaron-boom">Github</a>
    
      
        <span class="nav-spacer">×</span>
      
      <a class="nav-link" href="/2020/04/13/About-Me/">About</a>
    
    
  </nav>
</header>

    <div id="content">
      <article id="post-残差网络之快捷键-ResNet、skip-connection" class="article article-type-post" itemprop="blogPost" itemscope>
  <div class="article-inner">
    
      <header class="article-header">
        
  
    <h2 class="article-title" itemprop="headline name">
      残差网络之快捷键-ResNet,skip connection
    </h2>
  


        <div class="article-meta">
          <time class="article-date" datetime="2020-04-26T12:35:25.000Z" itemprop="datePublished">2020-04-26</time>

          
        </div>
      </header>
    
    <div class="article-entry" itemprop="articleBody">
      
      
        <blockquote>
<p>最近由于《高级数字图像处理》课程考核的原因，看了一篇CV的论文。我没有读懂全部的论文内容，关于其中一个很小的一点skip connection，我做个记录。只是简单的介绍下这个我看懂的一小点。</p>
</blockquote>
<span id="more"></span>
<h1 id="1、论文简介："><a href="#1、论文简介：" class="headerlink" title="1、论文简介："></a>1、论文简介：</h1><ul>
<li>论文题目：《Deep Residual Learning for Image Recognition》</li>
<li>中文译名：《深度残差学习在图像识别中的应用》</li>
<li>论文链接：<a target="_blank" rel="noopener" href="https://arxiv.org/pdf/1512.03385.pdf">https://arxiv.org/pdf/1512.03385.pdf</a></li>
<li>Github代码参考：<a target="_blank" rel="noopener" href="https://github.com/tornadomeet/ResNet">https://github.com/tornadomeet/ResNet</a></li>
<li>作者：何恺明、 Xiangyu Zhang, Shaoqing Ren, Jian Sun</li>
</ul>
<h1 id="2、short-cut-x2F-skip-connection"><a href="#2、short-cut-x2F-skip-connection" class="headerlink" title="2、short cut&#x2F;skip connection:"></a>2、short cut&#x2F;skip connection:</h1><ul>
<li>传统的卷积网络在做学习时，往往会出现随着网络层的加深，会出现梯度消失、误差加大的问题。</li>
</ul>
<p><img src="http://cdn.rongshen2020.com/204261.png"></p>
<ul>
<li>基于VGG网络启发，该网络是将卷积核的尺寸全部都化为3*3的矩阵卷积核。从而减少过多的参数，使得整个网络的学习效率提高。但是这样会增加网络的层数，会导致出现梯度消失、误差加大的问题。</li>
<li><h2 id="2-1、Residual-Block"><a href="#2-1、Residual-Block" class="headerlink" title="2.1、Residual Block"></a>2.1、Residual Block</h2></li>
</ul>
<p><img src="http://cdn.rongshen2020.com/204262.png"></p>
<ul>
<li>我们先来看下这个residual block，残差网络就是由很多这样的residual block构成的。我就把它叫做一个残差计算块吧（随便你怎么翻译啦）。我们可以看到一个残差块residual block里包括2个layer和1个skip connection。而一个layer里，我们有一个Linear（线性计算），一个ReLU（激活函数（rectified linear Units））。如下图所示：</li>
</ul>
<p><img src="http://cdn.rongshen2020.com/204264.png"></p>
<ul>
<li>这个只是一个plain network，也就是没有skip connetion的简单网络。</li>
</ul>
<h2 id="2-2、short-connection"><a href="#2-2、short-connection" class="headerlink" title="2.2、short connection"></a>2.2、short connection</h2><p><strong>那我们加上skip connection就会变成下图这样，这就是完整的残差网络的一个block了</strong></p>
<p><img src="http://cdn.rongshen2020.com/204263.png"></p>
<p><strong>注意看上图的线性计算和激活函数的结果，通过比较我们发现了不同</strong></p>
<ul>
<li>是什么不同呢，就是那个加号，这个不同，可以解决掉之后出现随着网络层数加深出现的问题。</li>
</ul>
<h2 id="2-3、思考，short-connection的重要性"><a href="#2-3、思考，short-connection的重要性" class="headerlink" title="2.3、思考，short connection的重要性"></a>2.3、思考，short connection的重要性</h2><p><img src="http://cdn.rongshen2020.com/204265.png"></p>
<p><strong>解释：我们先假设计算网络有l层吧，那么左边的plain网络根据最后一层的激活函数得出的就是左边的这个公式。同理，右边的残差网络，最后我们在加一个residual block，那么得到的就是右边的这个。那么，单纯深模型的问题就是：模型越深，w，b可能vanishing到0，那么左边的plain网络就得到了a[l+2]&#x3D;g(0)，做反向传递的时候，继续更新，很难更新参数，很难学到东西了。那么skip connection就保证了a[l+2]不会是0，a[l+2]&#x3D;g(a[l]),从而能有效的反向传递进行参数更新。</strong></p>
<ul>
<li>这张图也解释了plain network从理论上和实际上，随着网络层数的加深，训练误差，不降反升。</li>
</ul>
<h2 id="2-4、维度问题"><a href="#2-4、维度问题" class="headerlink" title="2.4、维度问题"></a>2.4、维度问题</h2><p><img src="http://cdn.rongshen2020.com/204267.png"></p>
<p><img src="http://cdn.rongshen2020.com/204266.png"></p>
<ul>
<li>我们对每几个层叠的层次采用残差学习。图2中展示出了一个积木块（building block ）。形式上，在本文中，我们考虑了一个积木块被定义为：x和F的维数必须相等。如果情况并非如此(例如，在更改输入&#x2F;输出通道时)，我们可以通过快捷连接执行线性投影W s ，以匹配维度:我们还注意到，虽然为了简单起见，上述表示法是关于全连通层的，但它们适用于卷积层。函数F(x，{wi})可以表示多个卷积层.元素级加法是在两个特征映射上相应通道上执行的。如只有一层卷积来表示F没有很好的效果，而快捷的加法在两层上面是有很好的效果，所以最终本文选择了一块积木由两层卷积加一层激活组成。即之前介绍过的表示形式。</li>
</ul>
<h1 id="3、思考："><a href="#3、思考：" class="headerlink" title="3、思考："></a>3、思考：</h1><ul>
<li>这是一个找差距的过程。虽然不是做CV，也没有这方面的知识储备。可是互联网是个好东西，他可以帮助我们一点一点的去弄懂。对于整篇文章，我还没全部看完。2020.04.26晚21.30。</li>
</ul>

      
    </div>
    
    
    <div class="article-category">
      
        <b>Categories:</b>
        <a class="article-category-link" href="/categories/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89/">计算机视觉</a>
      
      
        <br/>
      
      
        <b>Tags:</b>
        <a class="article-tag-none-link" href="/tags/ResNet/" rel="tag">ResNet</a>
      
    </div>
    
    
  </div>
</article>

  
<nav id="article-nav" class="article-nav">
  
    <a href="/2020/05/06/Apache-Hadoop%E5%B9%B3%E5%8F%B0%E6%90%AD%E5%BB%BA%EF%BC%88%E5%85%A5%E9%97%A8%E7%BA%A7%EF%BC%89/" id="article-nav-newer" class="article-nav-link-wrap newer">
      <strong class="article-nav-caption">Newer</strong>
      <div class="article-nav-title">
        
          Apache Hadoop平台搭建（入门级）
        
      </div>
    </a>
  
  
    <a href="/2020/04/25/%E4%B8%80%E4%B8%AA%E8%8E%B7%E5%8F%96%E4%B8%BB%E6%9C%BAIP%E5%9C%B0%E5%9D%80%E7%9A%84%E5%91%BD%E4%BB%A4%E8%A7%A3%E9%87%8A-awk%E3%80%81gensub/" id="article-nav-older" class="article-nav-link-wrap older">
      <strong class="article-nav-caption">Older</strong>
      <div class="article-nav-title">
        
          一个获取主机IP地址的命令解释-awk、gensub
        
      </div>
    </a>
  
</nav>






    </div>
  </div>
  




<div id="settings-container">
  <div id="dark-mode">dark</div>
  <div id="sans-font">sans</div>
</div>
<script type="text/javascript">
let d=document,r=d.documentElement.style,f=r.setProperty.bind(r),l=localStorage,s=l.getItem('s')||(window.matchMedia && window.matchMedia('(prefers-color-scheme: dark)').matches),n=l.getItem('n'),m=d.getElementById("dark-mode"),b=()=>{f('--bg-color','#fafafa');f('--code-bg-color','#f4f4f4');f('--text-color','#212121');f('--secondary-color','#808080');f('--tertiary-color','#b0b0b0');f('--link-color','#b5c8cf');f('--link-hover-color','#618794');f('--link-bg-color','#dae4e7');f('--selection-color','#dae4e7');m.innerHTML="dark"},c=()=>{f('--bg-color','#212121');f('--code-bg-color','#292929');f('--text-color','#fff');f('--secondary-color','#c0c0c0');f('--tertiary-color','#6e6e6e');f('--link-color','#4d6b75');f('--link-hover-color','#96b1bb');f('--link-bg-color','#5d828e');f('--selection-color','#acc1c9');m.innerHTML="light"},o=d.getElementById("sans-font"),e=()=>{f('--body-stack','"Lora", "Georgia", "Times New Roman", serif');o.innerHTML="sans"},g=()=>{f('--body-stack','"Lato", "Lucida Grande", "Lucida Sans Unicode", "Lucida Sans", "Verdana", sans-serif');o.innerHTML="serif"};m.onclick=()=>{if(s==2){s=1;l.setItem('s',s);c()}else{s=2;l.setItem('s',s);b()}};o.onclick=()=>{if(n==2){n=1;l.setItem('n',n);g()}else{n=2;l.setItem('n',n);e()}};if(!s){s=2;l.setItem('s',2)};if(s==1){c()};if(!n){n=2;l.setItem('n',2)};if(n==1){g()};
</script>




</body>
</html>
